文章推荐 | 手术器械透明化:微创内镜手术中的遮挡去除
视频赏析
内容摘要
微创化是外科手术的重要发展趋势,内窥镜作为监测微创手术过程的关键设备,由于体积和工作空间的限制,其视野相当狭窄。尤其是当手术器械通过工作通道进入时,内镜图像中的大部分区域被器械占据,减少了医生的手术视野,进而影响手术效率和质量。本文通过单帧图像修复使图像前景(即手术器械)透明,预测被遮挡区域信息并填充,实现内镜图像中手术器械的遮挡去除,为微创内镜手术提供完整的视野,从而提高手术质量。临床内镜图像去遮挡实验表明,本文方法能有效去除手术器械遮挡,改善内镜图像的视觉效果,在临床应用中具有巨大的发展潜力。
图文导读
(一)图1为微创手术过程中的图片示例。当手术器械(如电凝器、咬骨钳、夹钳等)通过工作通道进入后,占据了图像的大部分区域,影响医生对术区的观察。临床上,医生需要将手术器械退出内镜监测范围进行观察后再进行手术操作。这个过程在一台手术中会重复上百次,极大延长了手术时间。
(四)在真实脊柱内镜手术视频上验证了单帧图像修复算法,并利用结构相似性(SSIM)、峰值信噪比(PSNR)和均方根误差(RMSE)评估算法效果(图5)。
本文采用的数据集由无器械遮挡的图片构成,在训练时随机叠加手术器械分割数据集的人工标注蒙版,生成有缺损区域的图像。训练完成后,将算法生成的图片与原始真值图片进行对比,计算评估参数。在评估过程中,研究人员发现最终输出的图像由填充部分和非填充部分组成。若非填充部分的图像直接从输入图像中复制,可能会人为地提高评估指标。为了解决这个问题,本文引入蒙版区域评估方法,只对输出图像的填充部分进行评估。
(五)引入基于时间衰减的自适应权值融合单帧图像修复和帧间信息填补的结果。考虑到连续帧图像填补的信息有效性会随着时间衰减,本文对帧间信息填补的信息赋予时间衰减函数。基于对应像素信息所在帧与当前帧的时域距离计算权重矩阵W。
对融合效果进行验证的消融实验如图5所示。为了保证安全性,对图像中的器械进行透明化处理时保留器械头部,以确保医生能够准确观察器械位置,但这会导致器械移动过程中会留下轨迹,污染信息储存模块的有效信息,使用固定权重可能导致受污染的信息随着时间的推移一直保持不变。相比之下,本文使用的自适应权重可以使污染信息随着遮挡的持续而减少,使手术器械痕迹等无效填补在视觉上产生褪色效果,从而降低对手术的影响。遮挡持续的时间越长,引入时间衰减系数的优势越明显。
综上,本文针对微创内镜手术中的器械遮挡问题,提出了一种遮挡去除方法,可以使内镜视频中的手术器械实现透明化的视觉效果,辅助医生更好地观察手术区域,提升手术效果。实验表明,本文所提方法在真实临床手术内镜视频中可以实现预期视觉效果,这为未来微创内镜手术图像智能化处理提供了新的思路。
【作者信息】
Dongsheng Xiea, Wenxin Chena, Jin Zhaob, Xinya Songa, Kaifeng Wangc, Weiwei Xiac, Haiying Liuc, Fangle Changd, Changsheng Lib,*, Xingguang Duana,b,*a School of Medical Technology, Beijing Institute of Technology, Beijing 100081, China b School of Mechatronical Engineering, Beijing Institute of Technology, Beijing 100081, China c Department of Spinal Surgery, Peking University People’s Hospital, Beijing 100044, China d Ningbo Innovation Center, Zhejiang University, NingBo 315100, China* Author to whom correspondence should be addressed: lics@bit.edu.cnm,duanstar@bit.edu.cn【DOI】
https://doi.org/10.1016/j.birob.2023.100105【全文链接】
关于本刊
Biomimetic Intelligence and Robotics(《仿生智能与机器人(英文)》,CN 37-1527/TP,ISSN 2667-3797)是由教育部主管,山东大学主办,山东大学科技期刊社与爱思唯尔(Elsevier)联合出版的国际学术期刊,2019年入选中国科技期刊卓越行动计划。目前已被Ei Compendex、Scopus和DOAJ等国际数据库收录。
Biomimetic Intelligence and Robotics聚焦仿生智能与机器人领域,主要发表高质量原创理论和应用研究成果。涉及领域包括但不限于:仿生设计、仿生材料、仿生驱动与感知、工业机器人、服务机器人、特种机器人、医疗机器人、微型和纳米机器人、软体机器人、外骨骼系统、机器学习、人机交互、运动学和动力学、运动规划与控制、自主系统、多机器人系统等。
期刊接收包括原创研究论文、综述、短篇通讯等多种类型的文章,目前对作者和读者均免费,平均审稿周期30天,诚邀广大学者将高质量的创新成果投稿至本刊。
其他推荐
点击“阅读原文”